Nguyên lý chung Xích Markov Monte Carlo

Phương pháp Markov chain Monte Carlo tạo ra các mẫu từ một biến ngẫu nhiên liên tục, với mật độ xác suất tỷ lệ với một hàm đã biết. Những mẫu này có thể được sử dụng để đánh giá một tích phân đối với biến đó như là giá trị hoặc phương sai mong đợi của nó.

Trên thực tế, một tập hợp các chuỗi thường được phát triển, bắt đầu từ một tập hợp các điểm được chọn tùy ý và đủ cách xa nhau. Phương pháp đi bộ ngẫu nhiên cung cấp một phép ẩn dụ tốt cho việc xây dựng chuỗi mẫu Markov, các chuỗi này được ví như là các quá trình ngẫu nhiên của "người đi bộ" di chuyển xung quanh một cách ngẫu nhiên theo một thuật toán nhằm tìm kiếm những vị trí có đóng góp hợp lý cao cho tích phân để chuyển sang bước tiếp theo, gán cho chúng xác suất cao hơn. Có nhiều thuật toán Markov chain Monte Carlo chủ yếu xác định các cách khác nhau để xây dựng Markov Chain khi thực hiện mỗi mẫu Monte Carlo.

Phương pháp Monte Carlo đi bộ ngẫu nhiên là một loại mô phỏng ngẫu nhiên hoặc phương pháp Monte Carlo. Tuy nhiên, trong khi các mẫu ngẫu nhiên của tích phân được sử dụng trong tích hợp Monte Carlo thông thường là độc lập về mặt thống kê, còn các mẫu được sử dụng trong MCMC là tự tương quan (autocorrelated). Mối tương quan của các mẫu cho thấy sự cần thiết phải sử dụng định lý giới hạn trung tâm chuỗi Markov khi ước tính sai số của các giá trị trung bình.

Các thuật toán này tạo ra các chuỗi Markov sao cho chúng có phân bố cân bằng tỷ lệ với hàm đã cho.